เมื่อปี พุทธศักราช 2514 ท่านพระอาจารย์วัน อุตฺตโม ได้นำคณะศิษยานุศิษย์ร่วมกันสร้างถนนขึ้นสู่ยอดเขาภูผาเหล็ก ซึ่งมีถ้ำอีกแห่งหนึ่งมีชื่อเรียกว่า “ถ้ำพวง” เป็นระยะทางทั้งสิ้น 5 กิโลเมตร พร้อมได้สร้างวัดเรียกว่า “วัดถ้ำพวง” ซึ่งเป็นส่วนหนึ่งของวัดถ้ำอภัยดำรงธรรม จากนั้นได้สร้างอาคารเสนาสนะ และได้สร้างพระพุทธรูปปางนาคปรกหน้าตักกว้าง 5 เมตร ไว้ ณ ถ้ำพวงนามว่า “พระมงคลมุจลินท์” พร้อมทั้งได้สร้างวิหารครอบองค์พระพุทธรูป ภายในวิหารด้านซ้ายเป็นสถานที่อันเป็นสิริมงคล คือ พระนรสีห์ พระอรหันต์ในสมัยพระพุทธเจ้ากัสสโป ได้มานิพพานในหลืบถ้ำในอิริยาบถนั่ง มีพระพุทธรูปองค์ดำ ที่นำมาจากประเทศอินเดีย และยังมีพระบรมสารีริกธาตุ พระบรมธาตุพระปัจเจกพุทธเจ้า และพระอรหันตธาตุ ประดิษฐานไว้ในวิหารนี้